¿Mentiste? Evaluando detectores de mentiras en modelos de lenguaje
¿Pueden los detectores de mentiras identificar cuándo un modelo de IA miente? Un estudio evalúa cuatro métodos en modelos de hasta 1B parámetros y revela sus limitaciones.
#escalado de modelos
Entendiendo la Recomendación Generativa con IDs Semánticos
Descubre por qué los IDs semánticos limitan el escalado en recomendación generativa y cómo los LLMs ofrecen hasta un 20% de mejora. Análisis de modelos de 44M a 14B.
Aprendizaje de características en Gated Delta Networks a escala
Descubre cómo las Gated Delta Networks logran transferencia estable y eficiente de tasa de aprendizaje al escalar con nuevas reglas de parametrización.
Leyes de escalado espectral de Muon
Descubre las leyes de escalado espectral de Muon: cómo las iteraciones Newton-Schulz afectan el entrenamiento de LLMs. Ahorra cómputo sin sacrificar calidad.
Autointerpretación: adaptadores ligeros entrenados en pares vector-etiqueta
Cómo adaptadores ligeros entrenados en pares vector-etiqueta logran autointerpretación que supera etiquetas y revela razonamiento implícito.
Desmitificando el paralelismo de pipelines: teoría para PipeDream
Descubre cómo PipeDream logra convergencia en entrenamiento distribuido con un nuevo análisis teórico no convexo. Comparativa con LocalSGD.